Semantic Generative Tuning for Unified Multimodal Models
语义生成调优：统一多模态模型的协同训练范式
🧭 统一多模态模型 · 生成代理任务训练
Shanghai Jiao Tong University · Tencent ARCLab
以图像分割为生成代理任务，对齐统一多模态模型的理解与生成表征空间
📌 工作参考价值（4 点）
- 电商场景中可借鉴“生成代理任务”思想，例如用商品分割图作为监督信号，同时提升视觉理解（属性识别）与生成（背景替换/风格迁移）质量
- 对于生成式推荐，可设计语义生成代理（如品类层级结构预测）来统一商品序列理解与生成式版面布局，避免表征割裂
- 高层语义任务（分割）比低层纹理任务更有效，启示我们在多模态对齐时优先使用结构性强标注（如实体分割），而非像素级重建
- 机制分析显示SGT能改善特征线性可分性和注意力分配，可在跨模态推荐模型的训练中引入类似辅助任务，强制模型学习更解耦、可解释的特征